{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "from glob import glob\n",
    "import json\n",
    "import os"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['2021-dump-bahasa-twitter-26.json.v2.normalized',\n",
       " '2022-06-08-bahasa-6.json.v2.normalized',\n",
       " '2022-06-08-bahasa-10.json.v2.normalized',\n",
       " '2022-06-08-bahasa-4.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-36.json.v2.normalized',\n",
       " '2022-06-08-bahasa-19.json.v2.normalized',\n",
       " '2022-06-08-bahasa-24.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-31.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-21.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-34.json.v2.normalized',\n",
       " '2022-06-08-bahasa-25.json.v2.normalized',\n",
       " '2022-06-08-bahasa-3.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-28.json.v2.normalized',\n",
       " '2022-06-08-bahasa-11.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-6.json.v2.normalized',\n",
       " '2022-06-08-bahasa-8.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-22.json.v2.normalized',\n",
       " '2022-06-08-bahasa-0.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-15.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-33.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-14.json.v2.normalized',\n",
       " '2022-06-08-bahasa-17.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-38.json.v2.normalized',\n",
       " '2022-06-08-bahasa-7.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-16.json.v2.normalized',\n",
       " '2022-06-08-bahasa-23.json.v2.normalized',\n",
       " '2022-06-08-bahasa-13.json.v2.normalized',\n",
       " '2022-06-08-bahasa-2.json.v2.normalized',\n",
       " '2022-06-08-bahasa-21.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-11.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-29.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-1.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-2.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-40.json.v2.normalized',\n",
       " '2022-06-08-bahasa-9.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-9.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-41.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-39.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-5.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-20.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-32.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-30.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-25.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-0.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-27.json.v2.normalized',\n",
       " '2022-06-08-bahasa-5.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-18.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-24.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-4.json.v2.normalized',\n",
       " '2022-06-08-bahasa-12.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-23.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-17.json.v2.normalized',\n",
       " '2022-06-08-bahasa-16.json.v2.normalized',\n",
       " '2022-06-08-bahasa-18.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-8.json.v2.normalized',\n",
       " '2022-06-08-bahasa-15.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-10.json.v2.normalized',\n",
       " '2022-06-08-bahasa-14.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-37.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-7.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-3.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-35.json.v2.normalized',\n",
       " '2022-06-08-bahasa-1.json.v2.normalized',\n",
       " '2022-06-08-bahasa-22.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-19.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-12.json.v2.normalized',\n",
       " '2021-dump-bahasa-twitter-13.json.v2.normalized',\n",
       " '2022-06-08-bahasa-20.json.v2.normalized']"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "files = glob('*.json.v2.normalized')\n",
    "#files.extend(glob('*bahasa*.normalized'))\n",
    "files"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "for f in files:\n",
    "    new_f = f.replace('.json', '')\n",
    "    with open(f) as fopen:\n",
    "        data = json.load(fopen)\n",
    "    \n",
    "    with open(f'{new_f}.jsonl', 'w') as fopen:\n",
    "        for d in data:\n",
    "            fopen.write(f'{json.dumps(d)}\\n')\n",
    "        "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['2021-dump-bahasa-twitter-0.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-1.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-10.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-11.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-12.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-13.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-14.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-15.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-16.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-17.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-18.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-19.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-2.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-20.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-21.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-22.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-23.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-24.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-25.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-26.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-27.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-28.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-29.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-3.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-30.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-31.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-32.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-33.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-34.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-35.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-36.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-37.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-38.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-39.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-4.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-40.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-41.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-5.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-6.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-7.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-8.v2.normalized.jsonl',\n",
       " '2021-dump-bahasa-twitter-9.v2.normalized.jsonl',\n",
       " '2022-06-08-bahasa-0.v2.normalized.jsonl',\n",
       " '2022-06-08-bahasa-1.v2.normalized.jsonl',\n",
       " '2022-06-08-bahasa-10.v2.normalized.jsonl',\n",
       " '2022-06-08-bahasa-11.v2.normalized.jsonl',\n",
       " '2022-06-08-bahasa-12.v2.normalized.jsonl',\n",
       " '2022-06-08-bahasa-13.v2.normalized.jsonl',\n",
       " '2022-06-08-bahasa-14.v2.normalized.jsonl',\n",
       " '2022-06-08-bahasa-15.v2.normalized.jsonl',\n",
       " '2022-06-08-bahasa-16.v2.normalized.jsonl',\n",
       " '2022-06-08-bahasa-17.v2.normalized.jsonl',\n",
       " '2022-06-08-bahasa-18.v2.normalized.jsonl',\n",
       " '2022-06-08-bahasa-19.v2.normalized.jsonl',\n",
       " '2022-06-08-bahasa-2.v2.normalized.jsonl',\n",
       " '2022-06-08-bahasa-20.v2.normalized.jsonl',\n",
       " '2022-06-08-bahasa-21.v2.normalized.jsonl',\n",
       " '2022-06-08-bahasa-22.v2.normalized.jsonl',\n",
       " '2022-06-08-bahasa-23.v2.normalized.jsonl',\n",
       " '2022-06-08-bahasa-24.v2.normalized.jsonl',\n",
       " '2022-06-08-bahasa-25.v2.normalized.jsonl',\n",
       " '2022-06-08-bahasa-3.v2.normalized.jsonl',\n",
       " '2022-06-08-bahasa-4.v2.normalized.jsonl',\n",
       " '2022-06-08-bahasa-5.v2.normalized.jsonl',\n",
       " '2022-06-08-bahasa-6.v2.normalized.jsonl',\n",
       " '2022-06-08-bahasa-7.v2.normalized.jsonl',\n",
       " '2022-06-08-bahasa-8.v2.normalized.jsonl',\n",
       " '2022-06-08-bahasa-9.v2.normalized.jsonl']"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sorted(glob('*.v2.normalized.jsonl'))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{\"original\": \"Safari Ramadhan di Bukit Batu, Ini Tujuannya Kata Bupati Kasmarni: https://t.co/fvfXioG0Q1 - ;Bupati Bengkalis Kasm https://t.co/lxcHZBE7Yh\", \"normalized\": \"Safari Ramadhan di Bukit Batu, Ini Tujuannya Kata Bupati Kasmarni : https://t.co/fvfXioG0Q1 - ; Bupati Bengkalis Kasm https://t.co/lxcHZBE7Yh\"}\r\n",
      "{\"original\": \"Tinggal kenangan..\", \"normalized\": \"Tinggal kenangan. .\"}\r\n",
      "{\"original\": \"makin larut isi timeline ngelantur THIRSTY SEMUAKAH KALIAN SANGEKAH\", \"normalized\": \"makin larut isi timelina ngelantur THIRSTY SEMUAKAH KALIAN SANGEKAH\"}\r\n",
      "{\"original\": \"asyik hidinggg je ahahahahah kiyo\", \"normalized\": \"asyik hidingg sahaja haha kiyo\"}\r\n",
      "{\"original\": \"@ClassicalOpera Fyi, itu merah krn iritasi klilipan tanah 1 kilo\", \"normalized\": \"@ClassicalOpera Untuk Pengetahuan Anda, itu merah kerana iritasi klilipan tanah 1 kilo\"}\r\n",
      "{\"original\": \"Sungai Paron Kota Batu Meluap, Halaman SDN Bulukerto 03 Tergenang Lumpur dan Sampah https://t.co/621qMi4NrB\", \"normalized\": \"Sungai Paron Kota Batu Meluap, Halaman SDN Bulukerto kosong tiga Tergenang Lumpur dan Sampah https://t.co/621qMi4NrB\"}\r\n",
      "{\"original\": \"Dapet titipan mba berto  https://t.co/iNbFusW1sc\", \"normalized\": \"Dapat titipan mbak berto https://t.co/iNbFusW1sc\"}\r\n",
      "{\"original\": \"Camilan Makaroni Spiral 800 perak\\n\\nDiskon di bawah produk\\nhttps://t.co/3LIfSuVUYg https://t.co/21oGpEnMp5\", \"normalized\": \"Camilan Makaroni Spiral 800 perak Diskon di bawah produk https://t.co/3LIfSuVUYg https://t.co/21oGpEnMp5\"}\r\n",
      "{\"original\": \"Generasiku generasiku.\", \"normalized\": \"Generasiku generasiku .\"}\r\n",
      "{\"original\": \"#ShareInvitation\\nIsi kode undangan saya K343J untuk memilih saya! Suara Anda dapat membawa saya ke StarMaker Top .. https://t.co/OBLOBeBk9P\", \"normalized\": \"#ShareInvitation Isi koda undangan saya K343J untuk memilih saya! Suara Anda dapat membawa saya ke StarMaker Top. . https://t.co/OBLOBeBk9P\"}\r\n",
      "{\"original\": \"@MardaniAliSera Membangun prasarana kluster industri juga dibutuhkan infrastruktur berupa jalan guna membawa properti teknologi ke wilayah dimana kluster industri dibangun.\\ncontoh : subang, sukabumi, cilacap kluster sudah tumbuh dua yl. infratructur br dibenahi.. knp tanjakan sering macet.? https://t.co/q5JMcveZt2\", \"normalized\": \"@MardaniAliSera Membangun prasarana kluster industri juga dibutuhkan infrastruktur berupa jalan guna membawa properti teknologi ke wilayah dimana kluster industri dibangun. contoh : subang, sukabumi, cilacap kluster sudah tumbuh dua yl. infratructur br dibenahi. . kenapa tanjakan sering macet. ? https://t.co/q5JMcveZt2\"}\r\n",
      "{\"original\": \"@Joanne_Anne_J A ah u, Alhamdulillah semua sini, cuma ada yg Putrajaya, ada yg Sh Alam.. ohh Jdt aa ni en?\", \"normalized\": \"@Joanne_Anne_J A ah awak, Alhamdulillah semua sini, cuma ada yang Putrajaya, ada yang Sh Alam. . oh Jdt aa ini en ?\"}\r\n",
      "{\"original\": \"banyak bunyi this org tua\", \"normalized\": \"banyak bunyi this orang tua\"}\r\n",
      "{\"original\": \"@airin_kp Kalemkeun\", \"normalized\": \"@airin_kp Kalemkeun\"}\r\n",
      "{\"original\": \"@asmaarozlan sabah jauh tu\", \"normalized\": \"@asmaarozlan sabah jauh itu\"}\r\n",
      "{\"original\": \"@hamdanalias83 Bertabah laa u. Kesian https://t.co/MgeALqoiFO\", \"normalized\": \"@hamdanalias83 Bertabah lah awak. Kesian https://t.co/MgeALqoiFO\"}\r\n",
      "{\"original\": \"Masih marah tapi sebab risau. Marah tolak tepi.\", \"normalized\": \"Masih marah tetapi sebab risau. Marah tolak tepi .\"}\r\n",
      "{\"original\": \"Baru teringat 3 hari lepas beli barang kat shopee tak sampai2 lagi, padahal dalam Johor jugak, amende yang lama nau dok perap barang tu?\", \"normalized\": \"Baru teringat 3 hari lepas beli barang kat shopee tidak sampai-sampai lagi, padahal dalam Johor juga, amende yang lama nau dok perap barang itu ?\"}\r\n",
      "{\"original\": \"Ada banyak list untuk teman ngobrol di podcast, tapi lanjut bar lebaran. Sesasi elek elek e upload pisan. Bariki ja https://t.co/aq1bpe0Wzv\", \"normalized\": \"Ada banyak list untuk teman mengobrol di podcast, tetapi lanjut bar lebaran. Sesasi elek elek e upload pisan. Bariki sahaja https://t.co/aq1bpe0Wzv\"}\r\n",
      "{\"original\": \"Rumit, ga bs sama sekali dijelaskan \", \"normalized\": \"Rumit, ga bs sama sekali dijelaskan\"}\r\n",
      "{\"original\": \"Balik Kampung Raya ke Pantai Timur , Pahang melalui Route 86 Kuala Klawang , Jelebu jangan lupa singgah untuk berbuka, moreh atau istirehat di Route 86 DCafe Hotel Sri Klawang Pit Stop, \\nHotel Sri Klawang \\nJelebu \\nNegeri Sembilan https://t.co/ICb1fs8SHF\", \"normalized\": \"Balik Kampung Raya ke Pantai Timur, Pahang melalui Route 86 Kuala Klawang, Jelebu jangan lupa singgah untuk berbuka, moreh atau istirehat di Route 86 DCafe Hotel Sri Klawang Pit Stop, Hotel Sri Klawang Jelebu Negeri Sembilan https://t.co/ICb1fs8SHF\"}\r\n",
      "{\"original\": \"@cigarettexEth_ good night my fav person \\nhari ini capek ya? gapapa ya! sekarang ayo istirahat, tenangin pikiran dan badannya, relax ~ let's take a breath.. jangan tidur terlalu larut ya, besok kamu masih punya hari buat di jalanin.. SEMANGAT!!\", \"normalized\": \"@cigarettexEth_ good night my kegemaran person hari ini capek ya ? gapapa ya! sekarang ayo istirahat, tenangin pikiran dan badannya, relax ~ let us take a breath. . jangan tidur terlalu larut ya, besok kamu masih punya hari buat di menjalani. . SEMANGAT!!\"}\r\n",
      "{\"original\": \"KENAPESIH ELU SELALU BERKATA SEPERTI INI\", \"normalized\": \"KENAPESIH ELU SELALU BERKATA SEPERTI INI\"}\r\n",
      "{\"original\": \"@Aliya_Jay @haMizaAbdullah wishlist kita yg x sempat pergi last timee\", \"normalized\": \"@Aliya_Jay @haMizaAbdullah wishlist kita yang tak sempat pergi last time\"}\r\n",
      "{\"original\": \"Kak asmaa my senior \", \"normalized\": \"Kak asma my senior\"}\r\n",
      "{\"original\": \"@ROSEx163 @gracelyncle anaknya batu si emang\", \"normalized\": \"@ROSEx163 @gracelyncle anaknya batu si memang\"}\r\n",
      "{\"original\": \"@zt000tz HAAHAHAHHA lepas buka makan nasik kandar, ada sedikit kebodohan pulak. Maaf zahir batin tom. HAHAHAHAHA\", \"normalized\": \"@zt000tz HAHA lepas buka makan nasi kandar, ada sedikit kebodohan pula. Maaf zahir batin tom. HAHA\"}\r\n",
      "{\"original\": \"Kufikir ku salah mengertimu\", \"normalized\": \"Kufikir ku salah mengertimu\"}\r\n",
      "{\"original\": \"Ada banyak list untuk teman ngobrol di podcast, tapi lanjut bar lebaran. Sesasi elek elek e upload pisan lah. \\n\\nBar https://t.co/SOTT7sXeHZ\", \"normalized\": \"Ada banyak list untuk teman mengobrol di podcast, tetapi lanjut bar lebaran. Sesasi elek elek e upload pisan lah. Bar https://t.co/SOTT7sXeHZ\"}\r\n",
      "{\"original\": \"Kenapalah jubah cantik cantik tu korg boleh jual 4 500, tak kesian ke kat org miskin ni \", \"normalized\": \"Kenapalah jubah cantik cantik itu kamu semua boleh jual 4 500, tidak kesian ke kat orang miskin ini\"}\r\n",
      "{\"original\": \"@yisunclint @wishwenvrtalk Nongeng ku bucin mah \", \"normalized\": \"@yisunclint @wishwenvrtalk Nongeng ku bucin mah\"}\r\n",
      "{\"original\": \"Buat yang belum tau, lokasi video diatas adalah jembatan Cangar, Kota Batu, Mojokerto, Jawa Timur... Dan memang kalau kalian cari di pencarian google \\\"Cangar Batu Horror\\\", ada banyak artikel yang menyebutkan keangkeran tempat ini\", \"normalized\": \"Buat yang belum tahu, lokasi video diatas adalah jembatan Cangar, Kota Batu, Mojokerto, Jawa Timur. .. Dan memang kalau kalian cari di pencarian google \\\" Cangar Batu Horror \\\", ada banyak artikel yang menyebutkan keangkeran tempat ini\"}\r\n",
      "{\"original\": \"Bimoli minyak gorengku https://t.co/Exgy57YXQM\", \"normalized\": \"Bimoli minyak gorengku https://t.co/Exgy57YXQM\"}\r\n",
      "{\"original\": \"@otherhalfmiamor @AnakBatakMelayu Besaran THR sesuai urutan\\nIya kan bro  @AnakBatakMelayu\", \"normalized\": \"@otherhalfmiamor @AnakBatakMelayu Besaran THR sesuai urutan Iya kan abang @AnakBatakMelayu\"}\r\n",
      "{\"original\": \"bodo akai takdak ka apa main mercun pkl 12 baling kat housing area flat pulak tu\", \"normalized\": \"bodoh akai takdak ke apa main mercun pkl 12 baling kat housing area flat pula itu\"}\r\n",
      "{\"original\": \"@wikipejia Iman nipis cam bawang ke Dorang ni sampai kan orang makan Depan Dorang pun gelabah tetek. Cam budak keci https://t.co/FYJvw1eILr\", \"normalized\": \"@wikipejia Iman nipis cam bawang ke Dorang ini sampai kan orang makan Depan Dorang pun gelabah tetek. Cam budak keci https://t.co/FYJvw1eILr\"}\r\n",
      "{\"original\": \"Alaaaa siannyaa pikaaa\", \"normalized\": \"Alaaaa siannyaa pika\"}\r\n",
      "{\"original\": \"KAU KENA FAHAM, LELAKI NI MULA-MULA KENAL JE DIA SUKA GEMBIRAKAN KAU,SELALU TANYA PASAL KAU, REPLY MESEJ KAU PANJAN https://t.co/8T6MWlkWSY\", \"normalized\": \"KAMU KENA FAHAM, LELAKI INI MULA-MULA KENAL SAHAJA DIA SUKA GEMBIRAKAN KAMU, SELALU TANYA MASALAH KAMU, REPLY MESEJ KAMU PANJAN https://t.co/8T6MWlkWSY\"}\r\n",
      "{\"original\": \"Member semua dah makan, tidur aku baru terhegeh hegeh naik bus mmg tak lawak delay sejam lebih\", \"normalized\": \"Member semua dah makan, tidur aku baru terhegeh hegeh naik bus memang tidak lawak delay sejam lebih\"}\r\n",
      "{\"original\": \"Giat  patroli dalam rangka  Pelaksanaan *PPKM LEVEL 2 membatasi Mobilitas Perpindahan Masyarakat, bertempat di wila https://t.co/wdiMVGFzNv\", \"normalized\": \"Giat patroli dalam rangka Pelaksanaan * PPKM LEVEL 2 membatasi Mobilitas Perpindahan Masyarakat, bertempat di wila https://t.co/wdiMVGFzNv\"}\r\n",
      "{\"original\": \"Cepat laaa jumaat\", \"normalized\": \"Cepat lah jumaat\"}\r\n",
      "{\"original\": \"@asadowaisi tum kyu ji rhe ho pta nhi. Ksm se tumhe keeda pdenga...\", \"normalized\": \"@asadowaisi tum kyu ji rhe ho pta nhi. Ksm se tumha keeda pdenga. . .\"}\r\n",
      "{\"original\": \"Sampeer blewerrrr \\nhttps://t.co/Bhp7uSGkkG\\nhttps://t.co/1xRyjDgb9t\\n\\nIndo sekandal \\nhttps://t.co/6ETU2EC99Z\\nStreaming free vip \\nhttps://t.co/JD6pgiHiVX https://t.co/lFe9p5ZfEk\", \"normalized\": \"Sampeer blewerr https://t.co/Bhp7uSGkkG https://t.co/1xRyjDgb9t Indonesia sekandal https://t.co/6ETU2EC99Z Streaming free vip https://t.co/JD6pgiHiVX https://t.co/lFe9p5ZfEk\"}\r\n",
      "{\"original\": \"Happy Birthday Leader-Nim\\nTerimakasih telah bekerja keras hingga saat ini dan menjadi leader yang hebat untuk tim, be happy and stay healthy we love you\\nAMAZING CHOI HYUNSUK DAY\\n#247FairyChoiHyunsukDay \\n#__\\n#\\n@treasuremembers https://t.co/6yDfj6jtt0\", \"normalized\": \"Gembira Birthday Leader-Nim Terimakasih telah bekerja keras hingga saat ini dan menjadi leader yang hebat untuk tim, jadi happy and stay healthy we love you AMAZING CHOI HYUNSUK HARI aduh #__ # @treasuremembers https://t.co/6yDfj6jtt0\"}\r\n",
      "{\"original\": \"Any Sabahan whos watching #SVT_POWER_OF_LOVE_THE_MOVIE at GSC Suria Sabah on 21/4 at 7pm later? Mana tahu boleh kenal kenal juga nanti \", \"normalized\": \"Any Sabahan whos watching #SVT_POWER_OF_LOVE_THE_MOVIE pada GSC Suria Sabah on 21 / 4 pada pukul 19 later ? Mana tahu boleh kenal kenal juga nanti\"}\r\n",
      "{\"original\": \"dia kan tinggal delivery jak, tapi boleh pula di melancong ke tawau  j&amp;t ni orite tak orite!!\", \"normalized\": \"dia kan tinggal delivery jak, tetapi boleh pula di melancong ke tawau j & nanti ini orita tidak orita!!\"}\r\n",
      "{\"original\": \"@loveleestore @sweetcravehq @itskameliahq @dreamonnisha herlok lagi yang hantar kuih kapit ni #eh\", \"normalized\": \"@loveleestore @sweetcravehq @itskameliahq @dreamonnisha herlok lagi yang hantar kuih kapit ini #eh\"}\r\n",
      "{\"original\": \"Sahur maggie jelah, aku dah malas nak keluar \", \"normalized\": \"Sahur maggie sahaja lah, aku dah malas nak keluar\"}\r\n",
      "{\"original\": \"#PersisHariIni | 20.04.09 | Divisi Utama Pekan 22 | Persis dinyatakan kalah 0-3 karena tidak dapat melaksanakan per https://t.co/WEKXQQaWq3\", \"normalized\": \"#PersisHariIni | 20.04. kosong sembilan | Divisi Utama Pekan 22 | Persis dinyatakan kalah kosong - 3 karena tidak dapat melaksanakan per https://t.co/WEKXQQaWq3\"}\r\n",
      "{\"original\": \"Meethy meethy baatain bera ghark kr dety hein\", \"normalized\": \"Meethy meethy baatain bera ghark kr dety hein\"}\r\n",
      "{\"original\": \"HOONSUK NGAPAIN NONGKRONG DISITU https://t.co/S6HoY1gTZN\", \"normalized\": \"HOONSUK MENGAPAI NONGKRONG DISITU https://t.co/S6HoY1gTZN\"}\r\n",
      "{\"original\": \"@djlinsuriacinta Teringat kisah2 silam .. \", \"normalized\": \"@djlinsuriacinta Teringat kisah-kisah silam. .\"}\r\n",
      "{\"original\": \"Tonton Siaran Langsung Ligue 1 Pekan Ini di Vidio: AS Monaco vs Nice, Angers vs PSG https://t.co/0CzKwP55Ac\", \"normalized\": \"Tonton Siaran Langsung Ligue 1 Pekan Ini di Vidio : AS Monaco vs Nice, Angers vs PSG https://t.co/0CzKwP55Ac\"}\r\n",
      "{\"original\": \"PERHATIAN: STATUS HUJAN SEMASA (LEBAT)\\ndi SARAWAK , Miri, 20/04/2022 23:45, \\nLong Teru, \\nmerekodkan bacaan hujan 33.5mm dalam masa 1 jam\", \"normalized\": \"PERHATIAN : STATUS HUJAN SEMASA (LEBAT) di SARAWAK, Miri, 20 / kosong empat / 2022 pukul 23.45, Long Terus, merekodkan bacaan hujan 33. 5mm dalam masa 1 jam\"}\r\n",
      "{\"original\": \"@mesyceres Hahaha ayookkk keluarkan semuanya. Bentar lagi Idul Fitri.\", \"normalized\": \"@mesyceres Haha ayookk keluarkan semuanya. Bentar lagi Idul Fitri .\"}\r\n",
      "{\"original\": \"Harap @AizatAkriman baik baik saja\", \"normalized\": \"Harap @AizatAkriman baik baik sahaja\"}\r\n",
      "{\"original\": \"#BeritaSampit\\nPemberitaan Media Merupakan Bahan Evaluasi https://t.co/MiUFbwauGG PALANGKA RAYA - Danrem 102 Panju P https://t.co/CsKIc7Bqzp\", \"normalized\": \"#BeritaSampit Pemberitaan Media Merupakan Bahan Evaluasi https://t.co/MiUFbwauGG PALANGKA RAYA - Danrem 102 Panju Pergi https://t.co/CsKIc7Bqzp\"}\r\n",
      "{\"original\": \"Dari sebelum maghrib sampai nak dekat pukul 9 perasan adik ni berdiri pegang popcorn dekat depan entrance Lotus Ampang. Tak sempat nak tegur sbb bawak banyak barang tadi. \\n\\nKalau nampak, boleh la beli jualan dia. Semoga murah rezeki adik  https://t.co/vyYq7JLS6I\", \"normalized\": \"Dari sebelum maghrib sampai nak dekat pukul 00 perasan adik ini berdiri pegang popcorn dekat depan entrance Lotus Ampang. Tidak sempat nak tegur sebab bawa banyak barang tadi. Kalau nampak, boleh lah beli jualan dia. Semoga murah rezeki adik https://t.co/vyYq7JLS6I\"}\r\n",
      "{\"original\": \"@faranughain berani ambik berani tanggung, tanggungjawab tu kena belajar huhu\", \"normalized\": \"@faranughain berani ambil berani tanggung, bertanggungjawab itu kena belajar haha\"}\r\n",
      "{\"original\": \"Akademi Tunas Johor Bahru harap lebih ramai pemain bola sepak wanita sertai mereka.\\n\\nhttps://t.co/qPJV5jo7R0 https://t.co/t8hnLZaF38\", \"normalized\": \"Akademi Tunas Johor Bahru harap lebih ramai pemain bola sepak wanita sertai mereka. https://t.co/qPJV5jo7R0 https://t.co/t8hnLZaF38\"}\r\n",
      "{\"original\": \"@wardrobe_murah Ada jual tak kalau yang baju sahaja ? Blouse labuh ke \", \"normalized\": \"@wardrobe_murah Ada jual tidak kalau yang baju sahaja ? Blouse labuh ke\"}\r\n",
      "{\"original\": \"@mohdzarithakmal Harini masak apa ben? Ikan rebus ke\", \"normalized\": \"@mohdzarithakmal Hari Ini masak apa ben ? Ikan rebus ke\"}\r\n",
      "{\"original\": \"@awansinarb mau nya mas lanang aja\", \"normalized\": \"@awansinarb mahu nya mas lanang sahaja\"}\r\n",
      "{\"original\": \"@CharmilUsuli lanjut spam curhat junior\", \"normalized\": \"@CharmilUsuli lanjut spam curhat junior\"}\r\n",
      "{\"original\": \"Lian dental surgery, ampang point!!! Doctor and dsa ramah senyuman tp tak byk nak borak2 so kerja laju. Dia ada pan https://t.co/u4pg3caAG0\", \"normalized\": \"Lian dental surgery, ampang point!!! Doctor and dsa ramah senyuman tetapi tidak banyak nak borak-borak jadi kerja laju. Dia ada pan https://t.co/u4pg3caAG0\"}\r\n",
      "{\"original\": \"membe ajak g mood republik, ah ghisauuu \", \"normalized\": \"memba ajak pergi mood republik, ah ghisauu\"}\r\n",
      "{\"original\": \"@ZeinSzl_ begitu begini\", \"normalized\": \"@ZeinSzl_ begitu begini\"}\r\n",
      "{\"original\": \"@tunfairuz Masa kerja dulu housemate sendiri pernah accident sampai menggigil kawan tu balik kerja. Tak ada apa-apa https://t.co/HgpVsUpqh7\", \"normalized\": \"@tunfairuz Masa kerja dahulu housemate sendiri pernah accident sampai menggigil kawan itu balik kerja. tidak ada apa-apa https://t.co/HgpVsUpqh7\"}\r\n",
      "{\"original\": \"@kusyuk Kannnnnnnn.... Konon nk pergi masjid masjid tutup bagai bisinggggg. Hakikatnyaaaa hadooooo\", \"normalized\": \"@kusyuk Kannnnnnnn. .. . Konon nak pergi masjid masjid tutup bagai bising. Hakikatnyaaaa hadoo\"}\r\n",
      "{\"original\": \"Aku macam separuh kesian tapi separuh lagi rasa macam kat malaysia pun ramai merempat, dengan rakyat sendiri pun k https://t.co/q2hg0U3HUZ\", \"normalized\": \"Aku macam separuh kesian tetapi separuh lagi rasa macam kat malaysia pun ramai merempat, dengan rakyat sendiri pun okay https://t.co/q2hg0U3HUZ\"}\r\n",
      "{\"original\": \"lempar batu sembunyi migor\", \"normalized\": \"lempar batu sembunyi migor\"}\r\n",
      "{\"original\": \"@petrichorec AKU GEMINI. ADUH GATAU YA pokoknya every Capricorn Ive ever been in pasti ended up miserable dan exha https://t.co/XcRLDj1jGV\", \"normalized\": \"@petrichorec AKU GEMINI. ADUH TIDAK TAHU YA pokoknya every Capricorn Ive ever been in pasti ended naik miserable dan exha https://t.co/XcRLDj1jGV\"}\r\n",
      "{\"original\": \"@jjennfairy good night my fav person \\nhari ini capek ya? gapapa ya! sekarang ayo istirahat, tenangin pikiran dan badannya, relax ~ let's take a breath.. jangan tidur terlalu larut ya, besok kamu masih punya hari buat di jalanin.. SEMANGAT!!\", \"normalized\": \"@jjennfairy good night my kegemaran person hari ini capek ya ? gapapa ya! sekarang ayo istirahat, tenangin pikiran dan badannya, relax ~ let us take a breath. . jangan tidur terlalu larut ya, besok kamu masih punya hari buat di menjalani. . SEMANGAT!!\"}\r\n",
      "{\"original\": \"Rip aku fah balik johor dengan lancaunya takde line buto\", \"normalized\": \"Rip aku fah balik johor dengan lancaunya tiada line buto\"}\r\n",
      "{\"original\": \"capri - taurus. sama sama kepala batu\", \"normalized\": \"capri - taurus. sama sama kepala batu\"}\r\n",
      "{\"original\": \"Berkesempatan bertemu antara 4 orang Peguam pemerhati,kes Bella,yg dicadangkan DYAM Tungku Mahkota Johor. \\nMereka a https://t.co/JkhOFVShAX\", \"normalized\": \"Berkesempatan bertemu antara 4 orang Peguam pemerhati, kes Bella, yang dicadangkan DYAM Tungku Mahkota Johor. Mereka a https://t.co/JkhOFVShAX\"}\r\n",
      "{\"original\": \"@isusemasaviral Serius tak tahu lah jalan depan Hospital Temerloh ni sangat bahaya. Sepanjang bekerja setahun je da https://t.co/7Y10mbjSPN\", \"normalized\": \"@isusemasaviral Serius tidak tahu lah jalan depan Hospital Temerloh ini sangat bahaya. Sepanjang bekerja setahun sahaja dah https://t.co/7Y10mbjSPN\"}\r\n",
      "{\"original\": \"20. ikutin saran rion https://t.co/DkK8NamU0Z\", \"normalized\": \"20. mengikuti saran rion https://t.co/DkK8NamU0Z\"}\r\n",
      "{\"original\": \"@reformist__ MB Terengganu kata tu sampah hahahahah\", \"normalized\": \"@reformist__ MB Terengganu kata itu sampah haha\"}\r\n",
      "{\"original\": \"@itsyourbrown Kan bau pandan haha\", \"normalized\": \"@itsyourbrown Kan bau pandan haha\"}\r\n",
      "{\"original\": \"yee sunco turun 300 perak\", \"normalized\": \"yee sunco turun 300 perak\"}\r\n",
      "{\"original\": \"Bentar lagi ada yang cair tapi bukan es batu?\", \"normalized\": \"Bentar lagi ada yang cair tetapi bukan ais batu ?\"}\r\n",
      "{\"original\": \"Safari Ramadhan di Bukit Batu, Bupati Kasmarni Sampaikan Pembangunan 2022 https://t.co/faTbSErhQM https://t.co/hbD6hNHfLv\", \"normalized\": \"Safari Ramadhan di Bukit Batu, Bupati Kasmarni Sampaikan Pembangunan 2022 https://t.co/faTbSErhQM https://t.co/hbD6hNHfLv\"}\r\n",
      "{\"original\": \"@hmetromy Bodoh dia tu tahap klu kumpul boleh buat rumah batu...simpan skit bodoh tu bro...nti x pasal anak cucu ta https://t.co/qbclQBtGJ5\", \"normalized\": \"@hmetromy Bodoh dia itu tahap kalau kumpul boleh buat rumah batu. . simpan sakit bodoh itu abang. . nanti tak masalah anak cucu ta https://t.co/qbclQBtGJ5\"}\r\n",
      "{\"original\": \"@harukawxn Escape Penang.\", \"normalized\": \"@harukawxn Escape Penang .\"}\r\n",
      "{\"original\": \"Kan senang kalau pergi pasar kemboja parit buntar. Tak ada isu pun dengan penjual\", \"normalized\": \"Kan senang kalau pergi pasar kemboja parit buntar. tidak ada isu pun dengan penjual\"}\r\n",
      "{\"original\": \"Salah ambil keputusan itu emang kadang suka bikin sakit kepala, penyesalan dan banyak lagi. Pilihan selanjutnya cum https://t.co/mN0qMdlryg\", \"normalized\": \"Salah ambil keputusan itu memang kadang suka bikin sakit kepala, penyesalan dan banyak lagi. Pilihan selanjutnya cum https://t.co/mN0qMdlryg\"}\r\n",
      "{\"original\": \"rest dulu yaa  https://t.co/f8OcTnMx0i\", \"normalized\": \"rest dahulu ya https://t.co/f8OcTnMx0i\"}\r\n",
      "{\"original\": \"nk pergi klcc pukul 6:30 kene keluar utk catch up first komuter seksyen 19. berdiri dari shah alam sampai kl sentra https://t.co/NSAHeNWs94\", \"normalized\": \"nak pergi klcc pukul 06.30 kena keluar untuk catch naik first komuter seksyen 19. berdiri dari shah alam sampai kuala lumpur sentra https://t.co/NSAHeNWs94\"}\r\n",
      "{\"original\": \"@RamaArsd sujud pakai batu karbala\", \"normalized\": \"@RamaArsd sujud pakai batu karbala\"}\r\n",
      "{\"original\": \"@mikaeelan Sediiii kurang 65 perak doang:')))\", \"normalized\": \"@mikaeelan Sediiii kurang 65 perak doang :'))\"}\r\n",
      "{\"original\": \"Yup. Aku nak naik ktm serdang? Lrt kajang? Tak ada bas yang lalu kawasan rumah. Kalau naik kereta ke stesen? 20 min https://t.co/GikaGHSi1V\", \"normalized\": \"Ya. Aku nak naik ktm serdang ? Lrt kajang ? tidak ada bas yang lalu kawasan rumah. Kalau naik kereta ke stesen ? 20 min https://t.co/GikaGHSi1V\"}\r\n",
      "{\"original\": \"SIAPE NIH GHOST REPLY\", \"normalized\": \"SIAPE NIH GHOST REPLY\"}\r\n",
      "{\"original\": \"SEDIH IIH\", \"normalized\": \"SEDIH IIH\"}\r\n",
      "{\"original\": \"Ingtkn merentas desa\", \"normalized\": \"Ingtkn merentas desa\"}\r\n",
      "{\"original\": \"Server down since 8.00 PM. All operations bergantung dengan server, semua tak dapat jalan. Pastu night shift nak bu https://t.co/K2WkYE8uzo\", \"normalized\": \"Server down since pukul 20. Semua operations bergantung dengan server, semua tidak dapat jalan. Lepas Itu night shift nak bu https://t.co/K2WkYE8uzo\"}\r\n",
      "{\"original\": \"@cacangcuttt 500 perak\", \"normalized\": \"@cacangcuttt 500 perak\"}\r\n",
      "{\"original\": \"Tak habis bergaduh jelah si anak jiran depan rumah ni \", \"normalized\": \"Tidak habis bergaduh sahaja lah si anak jiran depan rumah ini\"}\r\n",
      "{\"original\": \"Uni lain mostly dah masuk tarikh kredit jpa. Umk kapaaan  misqueen dah ni\", \"normalized\": \"Uni lain mostly dah masuk tarikh kredit jpa. Umk kapaan misqueen dah ini\"}\r\n",
      "{\"original\": \"@ImnNazri Itulah, dulu pernah baca plan nak buat accesible sampai kuala selangor, aku dah happy dah sampai lah dah https://t.co/5OdR5dkM5F\", \"normalized\": \"@ImnNazri Itulah, dahulu pernah baca plan nak buat accesibla sampai kuala Selangor, aku dah happy dah sampai lah dah https://t.co/5OdR5dkM5F\"}\r\n"
     ]
    }
   ],
   "source": [
    "!tail -n 100 2022-06-08-bahasa-0.v2.normalized.jsonl"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.10"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}
